Reconstrucció automàtica de models de terreny a partir d'ortofotografies

Català: El projecte final de carrera consisteix en el desenvolupament d'una aplicació de reconstrucció automàtica de models de terreny amb carreteres a partir d'ortofotografies. L'aplicació necessita com a entrada un model inicial amb un skybox generat amb una eina externa (Autodesk 3d Studio Max). L'aplicació millora aquest model a partir del refinament de la geometria, la texturació de les parts properes a la carretera i l'incorporació de nova geometria

An annotation tool for digital restoration of wall paintings

Antique paintings are essential to study and understand our past. Paintings, and specifically mural paintings, are delicate artworks that are affected by multiple deterioration conditions. Weathering and human interventions cause different damage problems, and physical and chemical changes degrade their visual color appearance. As a consequence, art historians and archaeologists require a huge effort to attempt to rebuild their original appearance. The annotation of digital images of the paintings is a valuable tool in this process. In this paper we analyze major requirements from art historians concerning the annotation of painting regions from the point of view of digital restoration. We also describe a tool prototype (based on TagLab) intended to facilitate the annotation and segmentation of mural paintings. The tool assists art historians in formulating multiple hypotheses on the original appearance by supporting multiple annotation layers for degradation and color, providing both hand-drawn and semi-automatic segmentation, and offering web-based dissemination and sharing of the annotations through the W3C Web Annotation Data Model.This work has been partially supported by the projects TIN2017-88515-C2-1-R/-2-R funded by MCIN/AEI/ 10.13039/501100011033/ FEDER “A way to make Europe”,by the EUHorizon 2020, JPICH Conservation, Protection and Use initiative (JPICH-0127) and the Spanish Agencia Estatal de Invesigación (grant PCI2020-111979).Peer ReviewedPostprint (published version

Automated digital color restitution of mural paintings using minimal art historian input

Digital color restitution aims to digitally restore the original colors of a painting. Existing image editing applications can be used for this purpose, but they require a select-and-edit workflow and thus they do not scale well to large collections of paintings or different regions of the same painting. To address this issue, we propose an automated workflow that requires only a few representative source colors and associated target colors as input from art historians. The system then creates a control grid to model a deformation of the CIELAB color space. Such deformation can be applied to arbitrary images of the same painting. The proposed approach is suitable for restituting the color of images from a large photographic campaign, as well as for the textures of 3D reconstructions of a monument. We demonstrate the benefits of our method on a collection of mural paintings from a medieval monument.This work has been partially supported by projects PID2021-122136OB-C21 and PID2021-122136OB-C22 funded by MCIN/AEI/ 10.13039/501100011033 and by ERDF A way of making Europe, by the EU Horizon 2020, JPICH Conservation, Protection and Use initiative (JPICH-0127) and the Spanish Agencia Estatal de Investigación (grant PCI2020-111979).Peer ReviewedPostprint (published version

Gain compensation across LIDAR scans

High-end Terrestrial Lidar Scanners are often equipped with RGB cameras that are used to colorize the point samples. Some of these scanners produce panoramic HDR images by encompassing the information of multiple pictures with different exposures. Unfortunately, exported RGB color values are not in an absolute color space, and thus point samples with similar reflectivity values might exhibit strong color differences depending on the scan the sample comes from. These color differences produce severe visual artifacts if, as usual, multiple point clouds colorized independently are combined into a single point cloud. In this paper we propose an automatic algorithm to minimize color differences among a collection of registered scans. The basic idea is to find correspondences between pairs of scans, i.e. surface patches that have been captured by both scans. If the patches meet certain requirements, their colors should match in both scans. We build a graph from such pair-wise correspondences, and solve for the gain compensation factors that better uniformize color across scans. The resulting panoramas can be used to colorize the point clouds consistently. We discuss the characterization of good candidate matches, and how to find such correspondences directly on the panorama images instead of in 3D space. We have tested this approach to uniformize color across scans acquired with a Leica RTC360 scanner, with very good results.This work has been partially supported by the project TIN2017-88515-C2-1-R funded by MCIN/AEI/10.13039/5011000- 11033/FEDER ‘‘A way to make Europe’’, by the EU Horizon 2020, JPICH Conservation, Protection and Use initiative (JPICH-0127) and the Spanish Agencia Estatal de Invesigación (grant PCI2020- 111979), by the Universidad Rey Juan Carlos through the Distinguished Researcher position INVESDIST-04 under the call from 17/12/2020, and a Maria Zambrano research fellowship at Universitat Politècnica de Catalunya funded by Ministerio de Universidades.Peer ReviewedPostprint (published version

Digital reintegration of distributed mural paintings at different architectural phases: the case of St. Quirze de Pedret

Sant Quirze de Pedret is a Romanesque church located in Cercs (Catalonia, Spain) at the foothills of the Pyrenees. Its walls harbored one of the most important examples of mural paintings in Catalan Romanesque Art. However, in two different campaigns (in 1921 and 1937) the paintings were removed using the strappo technique and transferred to museums for safekeeping. This detachment protected the paintings from being sold in the art market, but at the price of breaking the integrity of the monument. Nowadays, the paintings are exhibited in the Museu Nacional d'Art de Catalunya - MNAC (Barcelona, Catalonia) and the Museu Diocesà i Comarcal de Solsona - MDCS (Solsona, Catalonia). Some fragments of the paintings are still on the walls of the church. In this work, we present the methodology to digitally reconstruct the church building at its different phases and group the dispersed paintings in a single virtual church, commissioned by the MDCS. We have combined 3D reconstruction (LIDAR and photogrammetric using portable artificial illumination) and modeling techniques (including texture transfer between different shapes) to recover the integrity of the monument in a single 3D virtual model. Furthermore, we have reconstructed the church building at different significant historical moments and placed actual paintings on its virtual walls, based on archaeological knowledge. This set of 3D models allows experts and visitors to better understand the monument as a whole, the relations between the different paintings, and its evolution over time.The project has been promoted by the Museu Diocesà i Comarcal de Solsona (special thanks are due to Carles Freixes and Lídia Fàbregas), co-financed by "La Caixa" Foundation and the Department of Culture of the Generalitat de Catalunya. Likewise, the work presented here counted with the support of MEIC (Spanish Government) project 3D4LIFE (TIN-2017-88515-C2), PRECA II of the Universitat de Barcelona (HAR2017-84451-P) and EHEM (JPICH0127 Conservation, Protection and Use, PCI2020-111979). The high-resolution photographs of the paintings are by Gaetano Alfano (Università degli Studi della Tuscia).Peer ReviewedPostprint (published version

Share - Publish - Store - Preserve. Methodologies, Tools and Challenges for 3D Use in Social Sciences and Humanities

Through this White Paper, which gathers contributions from experts of 3D data as well as professionals concerned with the interoperability and sustainability of 3D research data, the PARTHENOS project aims at highlighting some of the current issues they have to face, with possible specific points according to the discipline, and potential practices and methodologies to deal with these issues. During the workshop, several tools to deal with these issues have been introduced and confronted with the participants experiences, this White Paper now intends to go further by also integrating participants feedbacks and suggestions of potential improvements. Therefore, even if the focus is put on specific tools, the main goal is to contribute to the development of standardized good practices related to the sharing, publication, storage and long-term preservation of 3D data

Interactive weathering for realistic image synthesis of urban environments

Being able to capture and synthesize realistic materials is an important research topic in Computer Graphics. In order to render realistic images it is not enough to represent materials reliably, but we also need to represent its temporal component. Simulation of weathering effects is the research area that pursues the incorporation of decay to virtual models. After studying the previous work, we have found that there is a lack of estimation methods for some important environmental parameters and a need of global models that consider the interactions of the environmental factors in big scenes. Moreover, we have observed that the improvement of current techniques need to incorporate real effects characteristics to avoid the current disconnection from the real processes. But, this need to be first analyzed and understood. In this thesis, we aim to improve weathering simulation in Computer Graphics in these three fronts. Concerning weathering factors estimation, we first propose to deal with an undervalued factor in weathering literature which is very important in aging processes: the sun. More specifically, we propose an interactive technique that estimates solar exposure on detailed urban scenes. Given a directional exposure map computed over a given time period, we estimate the sky visibility factor that serves to evaluate the final exposure at each visible point. This is done using a screen-space method based on a two-scale approach, which is geometry independent and has low storage costs. Our method results in an interesting technique not only in weathering simulations, but also in architecture, in sustainable building design and in the estimation of buildings’ energy performance. After that, we introduce a global model to simulate the changes of appearance of buildings due to pollution deposition. This process is very noticeable on urban scenes and, so far, no technique has dealt with it using a global approach. We propose a physically-based technique that considers pollution effects to depend on three main factors: wind, rain and sun exposure, and that takes into account three intervening steps: deposition, reaction and washing. With a low-cost pre-computation step, we evaluate the pollution distribution through the city. Based on this distribution and the use of screen-space operators, our method results in an efficient approach that generate realistic images of polluted surfaces at interactive rates. In addition, the pre-computation demands a reduced amount of memory to store the pollution map and, as it is independent from scene complexity, it can suit large and complex models adapting its resolution. Finally, in order to improve the understanding of weathering processes, we present a method to identify and map “scaling” weathering effects on stone monuments with very little user interaction.Etre capable de capturer et de synthétiser des comportements réalistes est un sujet de recherche important en Informatique Graphique. Mais, pour produire des images réalistes, il ne suffit pas de représenter les matériaux de manière fiable, il faut également prendre en compte leurs évolutions dans le temps. La simulation des effets de vieillissement est le domaine de la recherche qui s’intéresse à la prise en compte de la détérioration des modèles virtuels. Après avoir étudié les travaux précédents dans ce domaine, nous avons constaté qu’il y a un manque d’estimation pour certains paramètres environnementaux importants ainsi qu’un besoin de modèles globaux qui tiennent compte des interactions des facteurs intervenants dans les grandes scènes. De plus, nous avons observées que l’amélioration des techniques actuelles nécessite intégrer les caractéristiques physiques réelles pour éviter la déconnection des processus réels, ce qui doit donc être analysés et compris. Dans cette thèse, nous visons à améliorer la simulation du vieillissement en Informatique Graphique sous les trois angles suivants. Concernant l’estimation des facteurs de vieillissement, nous proposons d’abord de traiter un facteur sous-estimé dans la littérature mais qui est très important dans les processus de vieillissement : le soleil. Plus spécifiquement, nous proposons une technique interactive qui estime l’exposition solaire sur des scènes urbaines détaillées. Compte tenu d’une carte d’exposition directionnelle calculée sur une période donnée, nous estimons le facteur de visibilité du ciel qui sert à évaluer l’exposition finale à chaque point visible. Ceci est fait en utilisant une méthode espace-écran basée sur une approche à deux échelles, qui est indépendante de la géométrie et qui a un coût bas en stockage. Notre méthode aboutit à une technique intéressante non seulement pour les simulations de vieillissement, mais également en architecture, dans la conception de bâtiments durables et dans l’estimation de la performance énergétique des bâtiments. Ensuite, nous introduisons un modèle global permettant de simuler les changements d’apparence des bâtiments liés aux dépôts de pollution. Ce processus est très visible sur les scènes urbaines et, jusqu’à présent, aucune technique n’a été proposée en utilisant une approche globale (sur une ville entière). Nous proposons ici une technique basée sur la physique considérant que les effets de la pollution dépendent de trois facteurs principaux : l’exposition au vent, à la pluie et au soleil. Cette approche prend en compte trois étapes : le dépôt, la réaction et le lavage. Avec un pré-calcul à bas coût, nous évaluons la distribution de la pollution dans la ville. Puis, par le biais d’opérateurs espace-écran, nous proposons une méthode efficace capable de générer des images réalistes en temps interactifs. De plus, le pré-calcul n’exige qu’une quantité réduite de mémoire pour stocker la carte de pollution et, comme la méthode utilisée est indépendante de la complexité de la scène, elle peut s’adapter à des modèles complexes et de grande taille en ajustant la résolution de la carte. Finalement, afin de mieux appréhender les processus de vieillissement, nous présentons une méthode permettant de prendre en compte l’effet d’écaillage sur les monuments en pierre avec très peu d’interaction de l’utilisateur

Reconstrucció automàtica de models de terreny a partir d'ortofotografies

Català: El projecte final de carrera consisteix en el desenvolupament d'una aplicació de reconstrucció automàtica de models de terreny amb carreteres a partir d'ortofotografies. L'aplicació necessita com a entrada un model inicial amb un skybox generat amb una eina externa (Autodesk 3d Studio Max). L'aplicació millora aquest model a partir del refinament de la geometria, la texturació de les parts properes a la carretera i l'incorporació de nova geometria

Vieillissement interactif pour la synthèse d'image réaliste des environnements urbains

Etre capable de capturer et de synthétiser des comportements réalistes est un sujet de recherche important en Informatique Graphique. Mais, pour produire des images réalistes, il ne suffit pas de représenter les matériaux de manière fiable, il faut également prendre en compte leurs évolutions dans le temps. La simulation des effets de vieillissement est le domaine de la recherche qui s’intéresse à la prise en compte de la détérioration des modèles virtuels. Après avoir étudié les travaux précédents dans ce domaine, nous avons constaté qu’il y a un manque d’estimation pour certains paramètres environnementaux importants ainsi qu’un besoin de modèles globaux qui tiennent compte des interactions des facteurs intervenants dans les grandes scènes. De plus, nous avons observées que l’amélioration des techniques actuelles nécessite intégrer les caractéristiques physiques réelles pour éviter la déconnection des processus réels, ce qui doit donc être analysés et compris. Dans cette thèse, nous visons à améliorer la simulation du vieillissement en Informatique Graphique sous les trois angles suivants. Concernant l’estimation des facteurs de vieillissement, nous proposons d’abord de traiter un facteur sous-estimé dans la littérature mais qui est très important dans les processus de vieillissement : le soleil. Plus spécifiquement, nous proposons une technique interactive qui estime l’exposition solaire sur des scènes urbaines détaillées. Compte tenu d’une carte d’exposition directionnelle calculée sur une période donnée, nous estimons le facteur de visibilité du ciel qui sert à évaluer l’exposition finale à chaque point visible. Ceci est fait en utilisant une méthode espace-écran basée sur une approche à deux échelles, qui est indépendante de la géométrie et qui a un coût bas en stockage. Notre méthode aboutit à une technique intéressante non seulement pour les simulations de vieillissement, mais également en architecture, dans la conception de bâtiments durables et dans l’estimation de la performance énergétique des bâtiments. Ensuite, nous introduisons un modèle global permettant de simuler les changements d’apparence des bâtiments liés aux dépôts de pollution. Ce processus est très visible sur les scènes urbaines et, jusqu’à présent, aucune technique n’a été proposée en utilisant une approche globale (sur une ville entière). Nous proposons ici une technique basée sur la physique considérant que les effets de la pollution dépendent de trois facteurs principaux : l’exposition au vent, à la pluie et au soleil. Cette approche prend en compte trois étapes : le dépôt, la réaction et le lavage. Avec un pré-calcul à bas coût, nous évaluons la distribution de la pollution dans la ville. Puis, par le biais d’opérateurs espace-écran, nous proposons une méthode efficace capable de générer des images réalistes en temps interactifs. De plus, le pré-calcul n’exige qu’une quantité réduite de mémoire pour stocker la carte de pollution et, comme la méthode utilisée est indépendante de la complexité de la scène, elle peut s’adapter à des modèles complexes et de grande taille en ajustant la résolution de la carte. Finalement, afin de mieux appréhender les processus de vieillissement, nous présentons une méthode permettant de prendre en compte l’effet d’écaillage sur les monuments en pierre avec très peu d’interaction de l’utilisateur.Being able to capture and synthesize realistic materials is an important research topic in Computer Graphics. In order to render realistic images it is not enough to represent materials reliably, but we also need to represent its temporal component. Simulation of weathering effects is the research area that pursues the incorporation of decay to virtual models. After studying the previous work, we have found that there is a lack of estimation methods for some important environmental parameters and a need of global models that consider the interactions of the environmental factors in big scenes. Moreover, we have observed that the improvement of current techniques need to incorporate real effects characteristics to avoid the current disconnection from the real processes. But, this need to be first analyzed and understood. In this thesis, we aim to improve weathering simulation in Computer Graphics in these three fronts. Concerning weathering factors estimation, we first propose to deal with an undervalued factor in weathering literature which is very important in aging processes: the sun. More specifically, we propose an interactive technique that estimates solar exposure on detailed urban scenes. Given a directional exposure map computed over a given time period, we estimate the sky visibility factor that serves to evaluate the final exposure at each visible point. This is done using a screen-space method based on a two-scale approach, which is geometry independent and has low storage costs. Our method results in an interesting technique not only in weathering simulations, but also in architecture, in sustainable building design and in the estimation of buildings’ energy performance. After that, we introduce a global model to simulate the changes of appearance of buildings due to pollution deposition. This process is very noticeable on urban scenes and, so far, no technique has dealt with it using a global approach. We propose a physically-based technique that considers pollution effects to depend on three main factors: wind, rain and sun exposure, and that takes into account three intervening steps: deposition, reaction and washing. With a low-cost pre-computation step, we evaluate the pollution distribution through the city. Based on this distribution and the use of screen-space operators, our method results in an efficient approach that generate realistic images of polluted surfaces at interactive rates. In addition, the pre-computation demands a reduced amount of memory to store the pollution map and, as it is independent from scene complexity, it can suit large and complex models adapting its resolution. Finally, in order to improve the understanding of weathering processes, we present a method to identify and map “scaling” weathering effects on stone monuments with very little user interaction

Reconstrucció automàtica de models de terreny a partir d'ortofotografies

Català: El projecte final de carrera consisteix en el desenvolupament d'una aplicació de reconstrucció automàtica de models de terreny amb carreteres a partir d'ortofotografies. L'aplicació necessita com a entrada un model inicial amb un skybox generat amb una eina externa (Autodesk 3d Studio Max). L'aplicació millora aquest model a partir del refinament de la geometria, la texturació de les parts properes a la carretera i l'incorporació de nova geometria